Safe Alone, Unsafe Together: Safeguarding Against Implicit Toxicity When Benign Images Combine
单图无害,多图有害:防止普通图片组合隐含的有毒语义
🧭 多模态安全 · 隐含联合语义
The Conversational AI (CoAI) Group, DCST, Tsinghua University
定义多图隐含毒性(MIIT)问题,构建数据集并训练推理蒸馏模型,在审核中超越商业API
📌 工作参考价值(4 点)
- 电商场景中,用户多图晒单或商品详情页的图片组合可能隐含违规(如暗示毒品器具),可借鉴多图联合推理的审核机制,将单图无害的概念纳入模型输入,提升对组合语义的捕捉能力。
- 训练阶段采用“渐进式蒸馏推理监督”:先让强模型生成有推理链的标注,再逐步蒸馏到小模型,产出带实体关联解释的判定结果,有助于审核人员快速确认风险。
- 工程上可设计两阶段流水线:先快速过滤单图明显违规,再对剩余多图组合进行联合编码推断隐性风险,平衡延迟与召回。
- 数据集构造的自动化流程(利用LLM生成危险组合描述、图生成模型合成图像)可作为扩充审核负样本的手段,缓解组合风险样本稀缺问题。